2021-09-12
最近的研究表明，卷积神经网络（CNNS）不是图像分类的唯一可行的解决方案。此外，CNN中使用的重量共享和反向验证不对应于预测灵长类动物视觉系统中存在的机制。为了提出更加生物合理的解决方案，我们设计了使用峰值定时依赖性塑性（STDP）和其奖励调制变体（R-STDP）学习规则训练的本地连接的尖峰神经网络（SNN）。使用尖刺神经元和局部连接以及强化学习（RL）将我们带到了所提出的架构中的命名法生物网络。我们的网络由速率编码的输入层组成，后跟局部连接的隐藏层和解码输出层。采用尖峰群体的投票方案进行解码。我们使用Mnist DataSet获取图像分类准确性，并评估我们有益于于不同目标响应的奖励系统的稳健性。
translated by 谷歌翻译
传统的脑电脑接口（BCI）需要在使用之前为每个用户提供完整的数据收集，训练和校准阶段。近年来，已经开发了许多主题独立的（SI）BCI。与受试者依赖性（SD）方法相比，这些方法中的许多方法产生较弱的性能，有些方法是计算昂贵的。潜在的真实世界应用程序将极大地受益于更准确，紧凑，并计算高效的主题的BCI。在这项工作中，我们提出了一个名为CCSPNET（卷积公共空间模式网络）的新型主题独立的BCI框架，该框架被训练在大型脑电图（EEG）信号数据库中的电动机图像（MI）范例上，由400个试验组成每54名科目执行两班手机MI任务。所提出的框架应用小波核卷积神经网络（WKCNN）和时间卷积神经网络（TCNN），以表示和提取EEG信号的光谱特征。对于空间特征提取来实现公共空间模式（CSP）算法，并且通过密集的神经网络减少了CSP特征的数量。最后，类标签由线性判别分析（LDA）分类器确定。 CCSPNET评估结果表明，可以具有紧凑的BCI，可实现与复杂和计算昂贵的模型相当的SD和SI最先进的性能。
translated by 谷歌翻译
We study the relationship between adversarial robustness and differential privacy in high-dimensional algorithmic statistics. We give the first black-box reduction from privacy to robustness which can produce private estimators with optimal tradeoffs among sample complexity, accuracy, and privacy for a wide range of fundamental high-dimensional parameter estimation problems, including mean and covariance estimation. We show that this reduction can be implemented in polynomial time in some important special cases. In particular, using nearly-optimal polynomial-time robust estimators for the mean and covariance of high-dimensional Gaussians which are based on the Sum-of-Squares method, we design the first polynomial-time private estimators for these problems with nearly-optimal samples-accuracy-privacy tradeoffs. Our algorithms are also robust to a constant fraction of adversarially-corrupted samples.
translated by 谷歌翻译
加速生物序列设计的能力可以对医疗领域的进度产生重大影响。该问题可以作为一个全球优化问题，在该问题中，该目标是昂贵的黑盒功能，因此我们可以查询大量限制，并限制较少的回合。贝叶斯优化是解决此问题的原则方法。然而，生物序列的天文范围较大的状态空间使所有可能的序列都在不可行。在本文中，我们提出了Metarlbo，在其中我们通过元强化学习训练自回归的生成模型，以提出有希望的序列，以通过贝叶斯优化选择。我们提出了这个问题，因为它是在上一轮中获取的数据的采样子集引起的MDP分布上找到最佳策略的问题。我们的内部实验表明，与现有强大基准相比，对此类合奏的元学习提供了鲁棒性，可抵抗奖励错误指定和实现竞争成果。
translated by 谷歌翻译
众所周知，图形神经网络（GNN）的成功高度依赖于丰富的人类通知数据，这在实践中努力获得，并且并非总是可用的。当只有少数标记的节点可用时，如何开发高效的GNN仍在研究。尽管已证明自我训练对于半监督学习具有强大的功能，但其在图形结构数据上的应用可能会失败，因为（1）不利用较大的接收场来捕获远程节点相互作用，这加剧了传播功能的难度 - 标记节点到未标记节点的标签模式； （2）有限的标记数据使得在不同节点类别中学习良好的分离决策边界而不明确捕获基本的语义结构，这是一项挑战。为了解决捕获信息丰富的结构和语义知识的挑战，我们提出了一个新的图数据增强框架，AGST（增强图自训练），该框架由两个新的（即结构和语义）增强模块构建。 GST骨干。在这项工作中，我们研究了这个新颖的框架是否可以学习具有极有限标记节点的有效图预测模型。在有限标记节点数据的不同情况下，我们对半监督节点分类进行全面评估。实验结果证明了新的数据增强框架对节点分类的独特贡献，几乎没有标记的数据。
translated by 谷歌翻译
控制语言模型生成的文本并自定义内容一直是一个长期的挑战。追求提供控制的现有提示技术是特定于任务的，缺乏普遍性。这为非专家用户提供了压倒性的选择，可以找到适合其任务的方法。与这些技术相关的努力，例如在写作示例，解释，说明等。进一步限制了它们在非专家用户中的采用。在本文中，我们提出了一个简单的提示策略，可以帮助我思考我们在哪里鼓励GPT3通过提出一组相关问题并利用用户答案执行任务来帮助非专家用户。我们证明了我们的技术的功效，可以帮助我考虑各种任务。具体来说，我们专注于对普通人类很难的任务，需要进行重大思维才能执行。我们希望我们的工作将鼓励发展非常规的方式来利用大语模型的力量。
translated by 谷歌翻译
虚拟现实（VR）耳机提供了一种身临其境的立体视觉体验，但以阻止用户直接观察其物理环境的代价。传递技术旨在通过利用向外的摄像头来重建否则没有耳机的用户可以看到的图像来解决此限制。这本质上是一个实时视图综合挑战，因为传递摄像机不能与眼睛进行物理共同。现有的通行技术会遭受分散重建工件的注意力，这主要是由于缺乏准确的深度信息（尤其是对于近场和分离的物体），并且表现出有限的图像质量（例如，低分辨率和单色）。在本文中，我们提出了第一种学习的传递方法，并使用包含立体声对RGB摄像机的自定义VR耳机评估其性能。通过模拟和实验，我们证明了我们所学的传递方法与最先进的方法相比提供了卓越的图像质量，同时满足了实时的，透视透视的立体视图综合的严格VR要求，从而在广泛的视野上综合用于桌面连接的耳机。
translated by 谷歌翻译
我们介绍了Godel（接地开放对话语言模型），这是对话框的大型预训练的语言模型。与诸如Dialogpt之类的早期模型相比，Godel利用了一个新的扎根预训练阶段，旨在更好地支持将Godel适应广泛的下游对话框任务，这些任务需要当前对话外部的信息（例如，数据库或文档）到产生良好的回应。针对一系列基准测试的实验，这些基准涵盖了面向任务的对话框，对话质量质量检查和接地的开放式对话框，表明Godel在几次以上的微调设置中优于最先进的预训练的对话模型，就人类和自动评估。我们评估方法的一个新颖特征是引入了一个效用概念，该概念除了其交流特征（内在评估）外，还评估了响应的有用性（外部评估）。我们表明，外部评估提供了改进的通道间一致性和与自动指标的相关性。代码和数据处理脚本公开可用。
translated by 谷歌翻译
最近，修剪深度神经网络（DNNS）因提高准确性和泛化功率，降低网络规模以及提高专业硬件的推理速度而受到了很多关注。尽管修剪主要在计算机视觉任务上进行了测试，但几乎没有探索其在医学图像分析中的应用。这项工作调查了众所周知的修剪技术，即层和网络范围的修剪，对组织学图像中细胞核实例分割性能的影响。我们利用的实例分割模型由两个主要分支组成：（1）语义分割分支，以及（2）深层回归分支。我们研究了修剪对两个分支的性能的影响分别对两个分支的性能以及最终的核实例分割结果。在两个公开可用数据集上进行了评估，我们的结果表明，层修剪的性能比在较小的压缩比（CRS）的网络修剪方面稍好，而对于大型CRS，网络范围的修剪会产生出色的性能。对于语义分割，深度回归和最终实例分割，可以通过层的修剪来修剪93.75％，95％和80％的模型权重，而相应模型的性能降低了2％。
translated by 谷歌翻译
急性和慢性伤口，不同的病因在经济上负担医疗保健系统。估计晚期伤口护理市场估计到2024年达到220亿美元。伤口护理专业人员提供了适当的诊断和治疗，并依赖于图像和图像文件。图像中伤口边界的分割是护理和诊断方案的关键组分，因为重要的是估计伤口面积并提供治疗的定量测量。不幸的是，这个过程非常耗时，需要高度的专业知识。最近，基于深度学习的自动伤口分割方法表明了有希望的性能，但需要大型数据集进行培训，并不清楚哪种方法更好。为解决这些问题，我们提出了与2021年医学图像计算和计算机辅助干预（Miccai）一起组织的脚溃骨细分挑战（Fuseg）。我们构建了一个卷绕图像数据集，其中包含从889名患者2年内收集的1,210脚溃疡图像。它是由伤口护理专家注释的像素，并分成具有1010个图像的训练和有200张图像的测试设置，用于评估。世界各地的团队制定了自动化方法，以预测测试集的伤口分割，其中保留了私人注释。评估预测并基于平均骰子系数进行排序。 Fuseg挑战仍然是会议后作为伤口细分基准的开放挑战。
translated by 谷歌翻译